Deep Q-Learning versus Proximal Policy Optimization: Performance Comparison in a Material Sorting Task

This paper presents a comparison between two well-known deep Reinforcement Learning (RL) algorithms: Deep Q-Learning (DQN) and Proximal Policy Optimization (PPO) in a simulated production system. We utilize a Petri Net (PN)-based simulation environment, which was previously proposed in related work. The performance of the two algorithms is compared based on several evaluation metrics, including average percentage of correctly assembled and sorted products, average episode length, and percentage of successful episodes. The results show that PPO outperforms DQN in terms of all evaluation metrics. The study highlights the advantages of policy-based algorithms in problems with high-dimensional state and action spaces. The study contributes to the field of deep RL in context of production systems by providing insights into the effectiveness of different algorithms and their suitability for different tasks.Comment: Submitted and accepted version to the 32nd International Symposium on Industrial Electronics (ISIE), Helsinki, Finlan

A Modular Test Bed for Reinforcement Learning Incorporation into Industrial Applications

This application paper explores the potential of using reinforcement learning (RL) to address the demands of Industry 4.0, including shorter time-to-market, mass customization, and batch size one production. Specifically, we present a use case in which the task is to transport and assemble goods through a model factory following predefined rules. Each simulation run involves placing a specific number of goods of random color at the entry point. The objective is to transport the goods to the assembly station, where two rivets are installed in each product, connecting the upper part to the lower part. Following the installation of rivets, blue products must be transported to the exit, while green products are to be transported to storage. The study focuses on the application of reinforcement learning techniques to address this problem and improve the efficiency of the production process.Comment: Submitted and accepted version to the 5th International Data Science Conference (iDSC), Krems, Austri

Exact solutions of indirect transverse field effects in elongated structures with applications to CERN LHC and PS

Das Verständnis der elektromagnetischen Interaktion eines Teilchenstrahls mit den Elementen eines Teilchenbeschleunigers in seiner nahen Umgebung - sogenannte indirect space charge driven (ISCD) Effekte - ist entscheidend für einen stabile Betrieb eines Teilchenbeschleunigers bei hoher Intensität. Diese Thematik wird in dieser Doktorarbeit behandelt, wobei die gewonnen Erkenntnisse am CERN Beschleunigerkomplex für eine Überprüfung der Theorie Anwendung fanden. Eine akkurate quantitative Beschreibung für den ISCD Tune-shift, welcher während des Betriebs des Large Hadron Colliders (LHC) korrigiert werden muss, fehlte. Der in dieser Arbeit entwickelte Ansatz basiert auf komplexen Greenschen Funktionen. Diese Methode zeigt eine ausgezeichnete Übereinstimmung mit Messungen mit beispielloser Genauigkeit. Als Hauptursache für den ISCD Tune-shift wurde die elektrische Interaktion mit dem sogenannten Beam-screen identifiziert. Ein Model, welches mit Hilfe von geschlossenen Formen ausgedrückt werden kann, wurde formuliert. Dieses ist auch auf zukünftige Beschleunigerprojekte wie das High Luminosity (HL)-LHC Projekt, bei welchem die Intensität des Teilchenstrahls und folglich die dadurch getriebenen Effekte um mehr als einen Faktor zwei höher sein werden, anwendbar. Bei der Multi-Turn Extraktion im Proton Synchrotron (PS) wird der Teilchenstrahl in einen Hauptstrahl und vier Satellitenstrahlen, - die sogenannten Beamlets - aufgeteilt. In Messungen hat man eine Intensitätsabhängigkeit des Tunes und der Position beobachtet. Diese Effekte konnten in analytische Berechnungen und numerischen Simulationen durch ISCD Effekte erklärt werden, welche auf in dieser Arbeit hergeleiteten geschlossenen Formen basieren. Um einfache mathematische Ausdrücke zu erhalten wurde ein neuer Lorentzoperator der zugrundeliegenden Greenschen Funktionen welche wiederum Operatoren konformer Abbildungen auf der Riemannsphäre sind, und daraus folgend die sogenannte Image-operators für beliebige transverse Teilchenstrahlverteilungen, eingeführt. Diese Operatoren erlauben es den ISCD Tune-shift von komplexen Beschleunigermodellen abzuschätzen. Eine neue Methode zur Abschätzung der (elektrostatischen) Greenschen Funktion für beliebige einfach-zusammenhängende Gebiete mit einer Fehlerabschätzung wird bewiesen. Diese Methode wird verwendet um eine Approximation des LHC Beam-screens anzugeben. Eine neue Integraldarstellung der (magnetostatischen) Neumannfunktion auf der Riemannsphäre für glatte einfach-zusammenhängende Gebiete wird bewiesen. Dadurch ist es möglich eine Klassifizierung der Neumannfunktion in beschränkte, regulated und äussere Gebiete vorzunehmen. Eine neue Methode wird präsentiert, welche es erlaubt geschlossene Formen der Neumannfunktion für unbeschränkte sternförmige Gebiete zu finden. Dies ermöglicht es neue geschlossene Lösungen für elementare Geometrien wie zum Beispiel =-Pole oder combined-function Magnete des PS zu erhalten (bis jetzt waren nur parallele Platten Modelle bekannt). Zusätzlich werden neue off-axis Image Tensoren für Standardgeometrien, welche sorgfältig mit in der Literatur vorhandenen on-axis Lösungen verglichen wurden, in geschlossenen Formen bereitgestellt.The understanding of the electromagnetic interaction of the particle beam with the surrounding elements - so-called indirect space charge driven (ISCD) effects - in particle accelerators, is crucial for stable high-intensity performance. It is addressed and applied at the CERN accelerator complex. An appropriate quantitative explanation for the ISCD tune-shift which must be corrected during the operation of the Large Hadron Collider (LHC) was missing. This work developed an approach based on complex Green functions which provides excellent agreement with the measurement with unprecedented accuracy. As the primary origin of the ISCD tune-shift, the electric interaction with the beam-screen is identified. A closed-form model is obtained, that is also applicable to future accelerator projects as the High Luminosity (HL)-LHC, where these effects will be at least a factor two higher. During the Multi-Turn Extraction in the Proton Synchrotron (PS), the beam is split into the main beam and four islands so-called beamlets. In measurements, an intensity dependence in the beamlet position and tune was observed. It is resolved due to ISCD effects in analytical calculations and numerical simulations based on closed-form expression acquired in this thesis. In order to obtain simple mathematical expressions, a novel Lorentz operator of the Green functions, on the Riemann-sphere (RS), and from it, the so-called image operators for arbitrary beam distributions are derived. These operators allow to estimate the ISCD tune-shift of complex accelerator models. A novel method to approximate the fundamental electrostatic field (the Green function) of arbitrary simply-connected domains, including an error bound, is proven. This method is used to approximate the rect-elliptical LHC beam-screen. Additionally, a new integral representation of the Neumann function on the RS for smooth bounded simply- connected domains is derived. It allows for classifying domains concerning the solution of the Neumann function into bounded, regulated and exterior solutions. A method is presented, to obtain novel closed-form solutions in the case of star- like regulated domains. Consequently, several novel closed-form solutions for the magnetic interaction of essential shapes as the =-poles or the combined-function magnets of the PS are obtained (so far only parallel plates were used). Finally, several new off-axis image tensors for standard geometries are provided.18